【Stable Diffusion】基本概念之lora

您所在的位置:网站首页 lora 全称 【Stable Diffusion】基本概念之lora

【Stable Diffusion】基本概念之lora

2024-07-12 21:30| 来源: 网络整理| 查看: 265

1.基本概念 Lora,英文全称“Low-Rank Adaptation of Large Langurage Models”,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术 2.作用 只要是图片上的特征都可以提取并训练 (1)对人物/物品的脸部特征进行复刻 (2)生成某一特定风格的图像 (3)固定动作特征 3.embedding和Lora的区别 embedding文件小,保存的信息量小,对人物的还原、对动作的指定、对画风的指定效果一般;Lora文件大,保存的信息量大,对人物的还原、对动作的指定、对画风的指定效果比较好。 embedding一般还原的人物为动漫人物,真人一般用Lora比较好,当embedding和lora可以做同一件事时,优先选择lora,但三视图、多视图embedding有做好的文件,Lora实现就会比较难 在这里插入图片描述 3.lora文件下载 打开https://civitai.com/ 右方的筛选按钮——LoRA 在这里插入图片描述 然后就可以选择相应的画面点击后,再在相应的页面点击Download Latest 以这个生成连环画风格lora为例,点击页面后,再点击Download Latest就可以将lora模型下载下来了 在这里插入图片描述

得到文件Xiaorenshu_v20.safetensors 就是生成小人书画风的lora了 在这里插入图片描述

4.lora文件存放位置 以存放在D盘为例 D:\stable-diffusion-webui\models\Lora 5.在WebUI中打开lora 在页面的图片中点击“i”按钮,可以看到图片的相应信息,可以发现,作者这里没有写配套训练大模型,可以去评论区查看其他人使用的大模型作为参考大模型 在这里插入图片描述 但有的页面有作者配套训练的大模型,所以最好是使用作者配套训练的大模型 在这里插入图片描述 在WebUI的Stable Diffusion checkpoint中任意选择一个大模型,例如“chilloutmix_NiPrunedFp32Fix” 在这里插入图片描述 不加载lora,在Prompt中输入“masterpiece, high quality”点击“Generate”生成的效果为:在这里插入图片描述 在WebUI页面中点击“Show extra networks” 在这里插入图片描述 再在Lora标签中选择需要的lora,点击 在这里插入图片描述

可以发现Prompt变为: 在这里插入图片描述 表示这是一个“lora”,名称为“Xiaorenshu_v20”,使用比重为“1” 点击“Generate”,这时生成的图像为: 在这里插入图片描述 这样就可以得到“小人书”风格的人物图像了



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3